export and install targets

use relative paths for install

This is intended to make the installed package relocatable.

Remove ruby compat hacks (#259)

* Fix two minor bugs from the Ruby code

First, `categroy` rather than `code` was used in constructing the
`control_boundary` property as related to the characters U+200C and
U+200D. This seemed incorrect and should be fixed. This could be an
observable bugfix for any C code which inspects the `control_boundary`
property.

Second, when reading composition exclusions, Ruby's String hex method
produces zero rather than nil if no number is found. For example

    $ ruby -e 'puts "# blah".hex'
    0

This led to the character `'\0'` being included in the `exclusions`
and `excl_versions` sets which is incorrect. However this seems
asymptomatic because `'\0'` is never part of a composition. (In terms of
the C code, the use of `comp_exclusion` is guarded by the `comb_index`
property which is `UINT16_MAX` for `'\0'`.)

* Cleanup: Remove sequence ordering hack

This hack changed the ordering of sequences encoded in the sequences
table and was added so we could easily prove equivalence to the Ruby
data generator code.

However, it's no longer needed and removing it shouldn't result in any
functional change.

Use stdint.h instead of inttypes.h (#223)

This improves support for targeting wasm32 with clang 12.

Port ruby data_generator.rb to Julia (#258)

* Port ruby data_generator.rb to Julia

This reduces the number of dependencies needed when regenerating the C
code. The new code also separates C code generation from unicode data
analysis somewhat more cleanly which should be better factored for
generating a Julia version of the data files in the future.

The output is identical to the original Ruby script, for now. Some bugs
which were found in the process are noted as FIXMEs in the Julia source
and can be fixed next.

* Replace some explicit loops with a utility function

* fixup! Port ruby data_generator.rb to Julia

* Update Makefile

* Update data/Makefile

* Update data/Makefile

* Update data/Makefile

* Update data/Makefile

* Update data/data_generator.jl

---------

Co-authored-by: Steven G. Johnson <stevenj@mit.edu>

upgrade minimum cmake version (#255)

This will silence the following warning:

CMake Deprecation Warning at CMakeLists.txt:1 (cmake_minimum_required):
  Compatibility with CMake < 3.5 will be removed from a future version of
  CMake.

  Update the VERSION argument <min> value or use a ...<max> suffix to tell
  CMake that the project does not need compatibility with older versions.

updates for doxygen 1.9

untar into new directory

make distcheck should keep tarball, rm directory

add make distcheck

make dist target

version 2.9 bump (#254)

Unicode 15.1 support (#253)

* Unicode 15.1 support

* always update state

* fix GB9c logic

* print indic_conjunct_break in printproperty

* fix grapheme test

* update utf8proc_decompose_char docs

* more GB9c tests

v2.8.0 bump (#248)

* version 2.8.0 bump

* NEWS link

unicode 15 support (#247)

Add c flag when invoking ar (#241)

`llvm-ar` warns when the archive does not exist and `c` is not passed.

Improve fuzzer code coverage (#239)

* fuzz: test grapheme break functions

* fuzz: cover character lumping

fuzz: limit input length (#238)

Longer inputs can lead to timeouts on oss-fuzz

don't use make in cmake instructions (closes #236)

update Doxygen config with doxygen -u

copyright year update

prepare for 2.7.0 release

update for unicode 14 (#233)

rm travis

update gitignore

[ci] set github CI (#229)

* [ci] set github CI: ubuntu, windows, macOS

* [ci] add make.yml

* [ci] Skip macOS check MANIFEST temporary

cmake: fix installation directories and also install pkgconfig file (#224)

reduce lenencode bits (#232)

GNUInstallDirs support (#159)

OSS-Fuzz integration updates (#219)

* fix build

* CIFuzz integration

* update fuzzer

* undo changes to build

* ossfuzz.sh: fix copy path

OSS-Fuzz initial integration (#216)

* add fuzz target

* update fuzzer

* add fuzzer to build with basic entry point

* add build script

* cleanup

* build fuzz target using cmake in oss-fuzz env

* ossfuzz.sh add newline

* update build

Fix Sign-Conversion warnings in library and test code (#214)

* JuliaStrings#169 turn on sign-conversion warnings

Signed-off-by: Mike Glorioso <mike.glorioso@gmail.com>
* JuliaStrings#169 fix sign-conversion warnings for utf8proc.c

fix sign-converstion warnings for utf8proc_iterate
uc requires at most 21 bits to identify a unicode codepoint, so there is no need for it to be unsigned
multiple locations use, modify, or store uc with a signed value
the only exception is line 137 where uc is compared with an unsigned value

fix sign-converstion warnings for utf8proc_tolower, utf8proc_toupper, utf8proc_totitle
all three methods have sign conversion warnings when calling seqindex_decode_index
seqindex_decode_index uses the passed value as an index to an array utf8proc_sequences
as utf8proc_sequences is hard-coded and smaller than 2^31 - 1 we can safely cast to unsigned

fix sign-converstion warnings for utf8proc_decompose_char
lines with this warning use the defined function utf8proc_decompose_lump
in the function, a hardcoded unsigned value (1<<12) is complemented then cast as a signed value
as the intent is to remove the 12th bit flag from options, a signed value, and explicit cast is safe

fix sign-conversion warnings for utf8proc_map_custom
result is declared as signed, but is only expected to contain values between 0 and 4
sizeof returns an unsigned value. result must be cast to unsigned

Signed-off-by: Mike Glorioso <mike.glorioso@gmail.com>
* JuliaStrings#169 fix sign-conversion warnings for test/*

fix sign-conversion warnings for test/tests.c encode
change type for d to match return value of utf8proc_encode_char

fix sign-conversion warnings for test/graphemetest.c checkline
si, i, and j are unsigned size types, utf8proc_map and utf8proc_iterate accept and return signed size types
utf8proc_map treats negative strlen values as 0. the strlen used by the test must be similarly limited
utf8proc_iterate treats negative strlen values as 4 which will be less than the unsigned size
fix unused-but-set-variable warning by checking the glen value

fix sign-conversion warnings for test/case.c main
the if block ensures that tested codepoint fits in wint_t, but needs to include u and l as well
c, u, and l can be safely cast to wint_t

fix sign-conversion warnings for test/iterate.c
all values used for len are below 8, so an explicit cast is safe
updated types for more portable test code

fix sign-conversion warnings for test/printproperty.c main
change type of c to signed to resolve all sign-converstion warnings.
replace sscanf(... &c) wiht sscanf(... &x) followed by explicit sign converstion

Signed-off-by: Mike Glorioso <mike.glorioso@gmail.com>

download test data to build directory (fixes #212)

ensure ruby is in UTF-8 mode (#209)

* ensure ruby is in UTF-8 mode

* Revert "ensure ruby is in UTF-8 mode"

This reverts commit 587b7b6b7215f91b1ae52aefc82d359f2f378a61.

* ensure Ruby reads files in UTF-8 encoding

fix manifest

2.6.1 version bump

fix NULL args in grapheme_break_stateful

update doxygen config with doxygen -u

bump to version 2.6

Fix grapheme breaks on string-initial (#205)

* Fix extended emoji + zwj combo

* Patch initial repeated regional flags and extended+zwj emoj

* Merge conditions for setting breaks bt region

* updated fix

* perform tests for both utf8proc_map and manual calls to utf8proc_grapheme_break_stateful

* consolidate tests

Co-authored-by: Thomas Marks <marksta@umich.edu>

docs: fix simple typo, encounted -> encountered (#201)

There is a small typo in utf8proc.h.

Should read `encountered` rather than `encounted`.

add islower/isupper functions (#196)

* add islower/isupper functions

* added test

* more tests + bugfix

* Makefile fix

* rm iscase test on make clean

Switch to HTTPS for referencing `unicode.org`. (#193)

Resolve https://github.com/JuliaStrings/utf8proc/issues/192

Unify include file handling (#190)

The cmake file expects the parent folder to be named "utf8proc",
otherwise the target_include_directories won't work, as it references
an unknown path.

This deviates from the install targets (both cmake and makefile) in
putting the include file into a subfolder in contrast to the top level
folder. This also prevents using the library with the recent cmake
addition of FetchContent.

This change unifies the include file handling by using the local path
for cmake as well.

This might break existing uses. As a workaround, we could add a dummy
include file in the old location (new utf8proc subfolder). I'm not sure
if that is necessary.

Co-authored-by: Stefan Floeren <stefan-floeren@users.noreply.github.com>

Fix memory leaks in tests case.c and misc.c (#189)

* Add: tests to CMakeLists.txt

* Disable compilation of charwidth, graphemetest and normtest because of missing getline

* Refactoring: UTF8PROC_ENABLE_TESTING default Off, move tests that don't compile on windows to NOT MSVC section, add testing to appveyor.yml

* Add: testing to travis

* Changed: flag to WIN32 because MinGW has the same problem as MSVC

* Commented out graphemetest and normtest because they fail.

* Re-added: graphemetest and normtest added missing data to the path of the text files.

* Fix: last commit was party wrong normtest failed.

* * Commented out graphemetest and normtest because they fail, because in CMakeLists is missing building of data.

* Add: mingw_static, mingw_shared, msvc_shared, msvc_static to ignore list

* Add: prefix utf8proc. to tests

* Fix: memory leaks in tests case.c and misc.c forgot to call free after calling utf8proc_NFKC_Casefold

Co-authored-by: Andreas-Schniertshauer <Andreas-Schniertshauer@users.noreply.github.com>

Revert "disable tests under mingw" (#187)

This reverts commit 7e834d77024d770875559d853b09b8bb7f9321a1.

use unsigned char more consistently, silence -Wextra compiler warnings (#188)

fixes

add build to gitignore, make paths absolute (closes #185)

fix grapheme test to work on unmodified data file

disable tests under mingw

Download data and execute commented out tests (#178)

* Add: tests to CMakeLists.txt

* Disable compilation of charwidth, graphemetest and normtest because of missing getline

* Refactoring: UTF8PROC_ENABLE_TESTING default Off, move tests that don't compile on windows to NOT MSVC section, add testing to appveyor.yml

* Add: testing to travis

* Changed: flag to WIN32 because MinGW has the same problem as MSVC

* Commented out graphemetest and normtest because they fail.

* Re-added: graphemetest and normtest added missing data to the path of the text files.

* Fix: last commit was party wrong normtest failed.

* * Commented out graphemetest and normtest because they fail, because in CMakeLists is missing building of data.

* Add: mingw_static, mingw_shared, msvc_shared, msvc_static to ignore list

* Add: downloading data and executing enabled tests that depend on the downloaded data.

* Fix: windows line endings CRLF replaced with linux LF

* Refactoring: (major) set UNICODE_VERSION to 13.0.0, replace curl with file DOWNLOAD, removed downloading unnecessary files, enabled normtest.

* Fix: woodhead error in revision adeac82ec9941667e3c3ad7f50769793547218c3 readded calling execute_process to strip GraphemeBreakTest.txt file

* Add: removing no more used file data/GraphemeBreakTestOrg.txt after stripping.

* Add: testing folder to ignore list

* Add: enabled graphemetest

* Update .gitignore

Co-authored-by: Andreas-Schniertshauer <Andreas-Schniertshauer@users.noreply.github.com>
Co-authored-by: Steven G. Johnson <stevenj@mit.edu>

Merge branch 'master' of https://github.com/JuliaLang/utf8proc

silence warning (closes #184)

Tests with prefix utf8proc. (#177)

* Add: tests to CMakeLists.txt

* Disable compilation of charwidth, graphemetest and normtest because of missing getline

* Refactoring: UTF8PROC_ENABLE_TESTING default Off, move tests that don't compile on windows to NOT MSVC section, add testing to appveyor.yml

* Add: testing to travis

* Changed: flag to WIN32 because MinGW has the same problem as MSVC

* Commented out graphemetest and normtest because they fail.

* Re-added: graphemetest and normtest added missing data to the path of the text files.

* Fix: last commit was party wrong normtest failed.

* * Commented out graphemetest and normtest because they fail, because in CMakeLists is missing building of data.

* Add: mingw_static, mingw_shared, msvc_shared, msvc_static to ignore list

* Add: prefix utf8proc. to tests

* Add: prefix utf8proc. to tests

Co-authored-by: Andreas-Schniertshauer <Andreas-Schniertshauer@users.noreply.github.com>
Co-authored-by: Steven G. Johnson <stevenj@mit.edu>

compile more tests on Windows (#183)

* compile more tests on Windows

* still disable charwidth tests

* silence warnings on MSVC about sscanf

* whoops

* silence warning

simplifications

portable getline replacement (closes #182)

new emoji-data.txt location (fixes #181)

update

whoops, generated from old tables

link fixes

version bump to 2.5

Unicode 13 support (#179)

* exclude Sk from zero-width chars (closes #167)

* update for Unicode 13

Add: tests to CMakeLists.txt (#173)

* Add: tests to CMakeLists.txt

* Disable compilation of charwidth, graphemetest and normtest because of missing getline

* Refactoring: UTF8PROC_ENABLE_TESTING default Off, move tests that don't compile on windows to NOT MSVC section, add testing to appveyor.yml

* Add: testing to travis

* Changed: flag to WIN32 because MinGW has the same problem as MSVC

* Commented out graphemetest and normtest because they fail.

* Re-added: graphemetest and normtest added missing data to the path of the text files.

* Fix: last commit was party wrong normtest failed.

* * Commented out graphemetest and normtest because they fail, because in CMakeLists is missing building of data.

Fix some typos (found by codespell) (#160)

Signed-off-by: Stefan Weil <sw@weilnetz.de>

slight clarification

update header file comments (closes #157)

NEWS for 2.4, updated version numbers (which I forgot in 2.3, grrr)

ignore vscode

update for unicode 12.1 (#156)

typo

more info

note official releases

more compile info

Document HP-UX build support (#155)

Improve portability of Make (#154)

Several options passed to $(CC) are not portable, e.g., for HP aCC.
Move them to variables.

[CMake] Add UTF8PROC_NO_INSTALL option (#152)

* [CMake] Add UTF8PROC_NO_INSTALL option

* change to UTF8PROC_INSTALL

copyright year update

fontforge is no longer needed

Merge branch 'master' of https://github.com/JuliaLang/utf8proc

NEWS for 2.3

add utf8proc_unicode_version (#151)

give up on Unifont for charwidth data (#150)

* fix CHARBOUND option for non-characters

* give up on unifont for charwidth computation

Merge branch 'master' of https://github.com/JuliaLang/utf8proc

doc clarification (closing #110)

fix CHARBOUND option for non-characters (#149)

update for unicode 12 (#148)

rebased cmake updates (#147)

* Use a target property instead of CMAKE_C_FLAGS

It is a global property, which is not great when importing utf8proc in other CMake projects.

* Use target properties instead of add_definitions

It modifies builds settings globally, which is not great when using
the library as part of a bigger CMake build

* Expose header search path with target_include_directories

This makes it possible to use utf8proc in a larger CMake based project
with

add_subdirectory(utf8proc)
target_link_libraries(my_app utf8proc)

* more rebase fixes

use Travis Julia support to get a modern Julia version (#146)

use Travis include: to specify Julia version

fix Julia script for Julia 1.0

Pass users' flags (#141)

Generate and install a pkg-config file. (#142)

* Generate and install a pkg-config file.

* Use Makefile libdir and includedir for pkg-config.

This splits the prefix out from these variables, so that
the same variables can be used to construct the pkg-config
file.

* Update the manifest for installation of pkg-config file.

* Revert "Use Makefile libdir and includedir for pkg-config."

This reverts commit a4cd6dc64a357dd5b91781045b3ac1c4679af97f.

* Use Makefile libdir and includedir for pkg-config.

This splits the prefix out from these variables, so that
the same variables can be used to construct the pkg-config
file.

link fix

badge updates

doc fixes, don't export stdint and limits.h values UINT16_MAX and SSIZE_MAX

Merge branch 'master' of https://github.com/JuliaLang/utf8proc

2.2 release date

update copyright statement for data_generator

copyright year updates